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摘 要 隐藏 情绪 识别 对 公共 安全 防范 与 预警 具有 重要 的 意义 。 微 表情 是 揭示 隐藏 情绪 的 一 条 重要 通道 。 但 


目前 隐藏 情绪 研究 较 少 且 微 表情 因 其 细微 幅度 与 快速 出 现 等 特性 难以 识别 ， 其 研究 尚未 在 实际 中 广泛 应 用 。 
因为 ， 隐 藏 情 绪 的 认 知 与 表达 机 理 亟 需 系 统 的 研究 ,采集 实际 场景 中 的 微 表 情 数据 ,并 以 脑 电信 号 辅助 微 表 情 
的 精确 标注 是 提高 微 表 情 标 注 效率 的 有 效 途 径 。 深 入 研究 微 表 情 识 别 方 法 ， 并 辅 以 人 脸 颜 色 、 注 视 估 计 和 非 
及 触 生理 信号 等 多 通道 数据 ， 以 检测 与 识别 隐藏 情绪 。 社 会 公共 安全 是 隐藏 情绪 分 析 和 识别 的 典型 场景 。 面 


向 精神 疾病 患者 两 害 行 为 ( 即 危 害 自身 或 他 人 的 危险 行为 ) 风 险 评 估 和 服刑 人 员 会 见 场景 隐藏 情绪 检测 ， 可 以 


有 效 地 对 相应 系统 和 方法 进行 验证 和 修正 。 


关键 词 ”模式 识别 ; 微 表情 检测 和 识别 ; 隐藏 情绪 ; 深度 学 习 ; 颜色 空间 


分 类 号 ”B842 
1 问题 提出 


安全 是 维持 社会 稳定 的 重要 因素 之 一 。 
作为 近年 来 逐渐 成 熟 的 技术 ,在 社会 公 
共 安 全 领域 得 到 了 广泛 应 用 ， 如 人 脸 识别 在 公共 
安全 视频 监控 体系 中 的 应 用 已 产生 了 较为 理想 的 
成 效 ( 苏 光大 , 2015)。 然 而 ， 人 脸 识别 仅 能 进行 个 
人 外 在 的 身份 识别 , 无 法 识别 其 内 在 情绪 。 人 情绪 
识别 可 以 为 公共 安全 防范 提供 必要 的 线索 ， 如 当 
被 识别 对 象 存在 潜在 危害 公共 安全 的 企图 而 刻意 
掩饰 真实 情感 时 ， 隐 藏 情绪 的 准确 识别 将 起 到 预 
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作用 ,这 对 维护 社会 公共 安全 具有 重要 价值 和 
现实 意义 。 情绪 识别 是 一 个 复杂 、 快速 的 过 程 ， 需 
要 计算 机 与 心理 学 等 多 学 科 进 行 深入 交叉 研究 。 
随 着 计算 机 的 快速 发 展 与 情绪 探索 价值 的 日 益 突 
出 , 挖 气 人们 的 内 在 情绪 已 经 成 为 人 工 智能 领域 
积极 探索 的 难题 。 

情绪 是 “知情 意 ” 三 种 基本 心理 过 程 之 一 , E 
以 个 体 的 愿望 和 需要 为 基础 ， 表现 为 人 对 客观 事 
物 的 态度 体验 及 相应 的 行为 反应 。 隐 藏 情绪 是 一 
种 特殊 的 情绪 ， 本 文中 ， 隐 藏 情绪 是 指 一 种 未 充 
分 表现 、 刻 意 掩 饰 、 难 以 被 他 人 察觉 的 情绪 。 面 
部 表情 是 情绪 最 主要 的 行为 表现 ， 可 以 分 为 宏 表 
情 和 微 表 情 。 微 表情 是 指 人 们 在 试图 隐藏 情绪 、 
压抑 情绪 信号 ， 却 无 法 完全 压抑 时 快速 泄露 出 来 
的 表情 ， 因 其 无 法 被 有 意识 地 抑制 ， 被 认为 是 反 
上 映 了 人 们 压抑 的 真实 情绪 。 因 此 ， 微 表情 被 认为 是 
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揭示 隐藏 情绪 的 一 条 重要 通道 (ten Brinke et al., 
2012; Frank & Svetieva, 2015). Haggard 和 Isaacs 
的 研究 发 现 ， 微 表情 与 自我 防御 机 制 有 关 ， 能 够 
表达 隐藏 起 来 的 情绪 (Haggard & Isaacs，1966)。 

1969 年 ，Ekman 和 Friese 发 现 了 微 表情 : 他 们 在 
观看 一 个 掩盖 自杀 企图 的 抑郁 症 患 者 录像 时 发 现 ， 
虽然 患者 无 任何 异常 表现 ,但 慢 速 播放 其 录像 时 
却 发 现 了 一 个 强烈 痛苦 的 表情 ， 此 表情 持续 时 间 仅 为 
1/12 秒 (Ekman & Friesen, 1969)。 此 后 的 研究 也 表 
明 , 微 表情 与 宏 表 情 之 间 最 大 的 差别 在 于 持续 时 
间 。 微 表情 本 质 上 属于 一 种 非常 快速 的 表情 ， 持 
续 时 间 仅 在 1/25 秒 至 1/5 秒 ， 所 以 仅 用 人 眼 难以 察 
觉 ( 吴 奇 , 申 寻 兵 , 傅 小 兰 , 2010)。 由 于 在 相当 短 的 时 
间 内 捕捉 到 微 表 情 极 其 困难 (Ekman，2003a，2009; 
Ekman & O'Sullivan, 2006), 利用 计算 机 技术 精准 
地 识别 微 表 情 成 为 了 研究 隐藏 情绪 的 重点 。 本 研 
究 通 过 计算 机 视觉 技术 来 精准 的 定位 面部 肌肉 运 
动 ， 并 通过 事件 相关 电位 (event-related potential, 
ERP) 和 功能 性 磁 共 振 成 像 (functional magnetic 
resonance imaging, fMRDT) 找 出 微 表情 的 中 枢 神 经 
系统 反应 特征 ,确定 微 表情 的 脑 电 激活 模式 和 脑 
区 定位 ， 从 而 得 出 真实 的 情绪 。 除 了 微 表 情 以 外 ， 
面部 颜色 、 了 眼 动 模式 (计算 机 领域 中 称 视线 估计 ) 
和 生理 信号 也 是 隐藏 情绪 的 其 他 潜在 表现 形式 。 

本 研究 利用 计算 机 视觉 等 人 工 智 能 技术 ,通过 研 
究 融 合 微 表 情 、 面 部 颜色 等 多 模 态 信息 ， 对 隐藏 
情绪 进行 分 析 和 识别 ， 并 面向 社会 公共 安全 具体 
场景 : 1) 精 神 疾病 患者 两 害 行为 风险 评估 ; 2) 服 刑 
人 员 会 见 场景 ， 开 展 隐藏 情绪 分 析 与 识别 验证 应 
用 。 该 研究 属于 多 学 科 交 叉 共 融 ， 且 理论 与 实践 


出 的 面部 反馈 假设 (MecIntosh，1996) 指 出 : 外 部 输 
入 的 情绪 信息 传 到 皮下 运动 控制 中 心 ， 自 动 激 发 
出 面部 表情 ， 皮 下 运动 控制 中 心 再 发 出 面部 肌肉 
收缩 指令 (如 皱眉 等 ), 信息 反馈 到 大 脑 皮 层 ， 从 
而 使 大 脑 产 生 情绪 体验 ， 达到 对 表情 的 识别 。 综 
上 所 述 ， 情 绪 与 面部 肌肉 之 间 存 在 着 千 丝 万 缕 的 
联系 。Ekman 在 《面部 运动 编码 系统 》 一 书 中 
(Ekman, Friesen, & Hagar，2002)， 充 分 标注 了 面 
部 的 所 有 运动 单元 (Action Unit, AU)， 说 明了 如 何 
组 合 各 个 AU 做 出 相应 的 表情 ,并 且 对 各 AU 组 合 
之 间 的 不 同 之 处 进行 了 讨论 , 例如 , AU6+AU12+ 
AU25+AU27 组 合 在 一 起 展现 出 的 表情 为 高 强度 
的 大 笑 ; AU12+AU25+AU26 组 合 在 一 起 展现 出 的 
表情 为 低 强 度 的 笑容 等 (Ekman et al., 2002)， 这 使 
得 通过 分 析 面 部 肌肉 的 运动 进而 识别 情绪 成 为 了 
可 能 。 其 后 又 有 人 总 结 了 面部 肌肉 的 部 分 运动 与 
宏观 表情 识别 的 外 在 联系 : 眼睛 可 应 用 于 疏 惧 表 
情 的 识别 ; 嘴唇 可 应 用 于 高 兴 和 惊讶 表情 的 识别 ， 
例如 ,惊讶 时 通常 嘴 层 部 位 是 张 开 的 ， 而 高 兴 时 
嘴角 是 上 扬 的。 另外 ， 鼻子 下 部 和 嘴唇 部 位 对 大 
恶 的 识别 也 有 重要 作用 (Smith & Schyns, 2009)。 
同年 Frank FEM, 面部 肌肉 运动 受 两 条 在 功能 
上 可 以 分 离 的 神经 通路 控制 (Frank et al., 2009), 
其 中 一 条 通路 ( 锥 体 束 ，Pyramidal tract) 控 制 自主 
的 面部 肌肉 运动 ， 男 一 条 通路 (外 锥 体 束 ， 
Extrapyramidal tract) 控 制 不 自主 的 面部 肌肉 运动 。 
由 此 可 知 ， 面 部 表情 可 以 通过 面部 肌肉 的 运动 来 
进行 分 析 。 

在 隐藏 情绪 的 特点 方面 ， 曾 有 研究 者 发 现 ， 
隐匿 异常 情绪 的 人 通常 会 体验 到 式 惧 、 内 次 或 得 


结合 ， 具 有 科学 意义 和 应 用 价值 ， 可 以 为 提高 社 
会 公共 安全 提供 理论 基础 和 关键 技术 , 满足 公共 
安全 领域 重大 需求 , 促进 人 工 智 能 与 公共 安全 
用 的 融合 发 展 。 
2 ”研究 现状 
2.1 “理论 模型 的 研究 现状 

情绪 的 外 在 表现 为 面部 表情 、 姿 态 表情 和 语 
调 表 情 ， 其 中 最 主要 的 是 面部 表情 。 下 面 将 重点 
阐述 其 相关 研究 。 早 在 1979 年 关于 表情 的 研究 中 


= 


(Weiss, 2011)。 相 较 于 情绪 正常 的 人 而 言 ， 情 绪 
异常 的 人 在 隐匿 自己 情绪 的 时 候 , 会 有 更 少 的 眼 
z), 瞳孔 直径 会 增 大 ,并 且 会 出 现 注视 回避 等 生 
理 或 行为 线索 ( 梁 静 等 ,2014)。 Ak, 为 了 更 准确 
的 检测 和 识别 隐藏 的 异常 情绪 ， 需 要 对 隐藏 情绪 
的 表达 规律 进行 探索 , 在 以 往 研究 的 基础 上 进行 
技术 革新 ,实现 对 其 主要 表现 形式 微 表 情 中 存在 
的 肌肉 运动 单元 精准 定位 ,从 而 有 效 昧 别 隐藏 情绪 。 
2.2 ”相关 技术 的 研究 现状 

本 研究 构想 中 将 以 微 表 情 的 检测 和 识别 为 主 ， 


就 发 现 ， 面 孔 不 同 部 位 信息 在 表情 的 判断 中 作用 
不 同 (Bassili，1979)。 后 来 又 有 研究 者 提出 ， 面 部 
肌肉 的 反馈 信息 在 表情 识别 中 有 重要 作用 。 其 提 


以 面部 颜色 、 注 视 估 计 和 非 接触 式 心率 检测 等 
多 个 通道 , 对 隐藏 情绪 进行 分 析 和 识别 。 下 面 对 
相关 技术 研究 现状 进行 分 别 叙述 。 
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2.2.1 数据 获取 

(1) 微 表情 数据 获取 

微 表 情 是 一 种 持续 时 间 极 短 、 不 易 被 察觉 的 
面部 动作 ， 它 往往 能 反映 出 个 体 真实 的 情绪 。 微 
表情 是 理解 人 类 真实 情绪 的 重要 窗口 ， 可 以 用 于 
非 接 触 无 感知 的 欺骗 检测 ， 在 国家 安全 、 司 法 实 
践 、 临 床 实践 、 广 告 与 消费 、 金 融 等 领域 有 广阔 
的 应 用 前 景 。 然 而 与 微 表 情 相关 的 研究 近 10 年 间 
才 受 到 研究 者 们 的 关注 。 自 从 2018 年 ， 中国 科学 
院 心 理 研 究 所 、 英 国有 曼彻斯特 都 会 大 学 、 芬 兰 奥 
卢 大 学 和 马来西亚 多 媒体 大 学 在 IEEE International 
Conference on Automatic Face and Gesture 
Recognition 上 开始 每 年 组 织 国际 微 表情 识别 大 赛 
(Yap, See, Hong, & Wang, 2018)， 越 来 越 多 的 人 参 
与 到 微 表 情 检测 和 识别 的 研究 中 来 。 芬 兰 奥 卢 大 
学 Matti Pietikiinen 团队 针对 图 像 描述 子 通常 只 
描述 微 表 情人 脸 的 表 观 信息 ， 而 没有 人 脸 的 几何 
言 息 的 问题 ， 提 出 了 基于 积分 投影 的 判别 式 时 空 
局 部 二 值 模式 (Huang et al., 2019)。 清 华 大 学 的 刘 
永 进 团 队 提 出 了 一 种 主 方向 平均 光 流 特征 (MDMO) 
的 微 表 情 识 别 方法 (Liu et al., 2016)。 复 旦 大 学 张 
军 平 团 队 利用 交流 提出 人 脸 动 态 映 射 来 刻画 微 表 
情 运 动 粒度 的 不 同 (Xu, Zhang, & Wang, 2017)。 东 
南大 学 郑 文明 团队 使 用 域 重 新 生成 的 方法 对 微 表 
情 实现 了 跨 库 识别 (Zong, Zheng et al., 2018)。 同 时 
他 们 也 提出 一 种 层级 的 时 空 描述 子 来 识别 微 表 情 
(Zong, Huang, Zheng, Cui, & Zhao, 2018)。 中 山大 
学 的 郑 伟 诗 团队 在 LBP-TOP 等 低级 特征 上 应 用 
多 任务 学 习 提 取 中 级 特征 来 对 微 表 情 进 行 识 别 
(He, Hu, Lu, & Zheng, 2017)。 马 来 西亚 多 媒体 大 
学 John See 团队 使 用 时 序 插值 方法 (TIM), 动态 模 
式 分 解 DMD) 和 稀 玻 动态 模式 分 解 (DMDSP) 来 
进行 微 表 情 识别 (le Ngo, See, & Phan, 2017)。 

我 们 针对 微 表情 样本 量 小 ,不 适合 采用 深度 
学 习 算 法 进行 自动 识别 的 问题 , 提出 两 步 迁移 学 
习 的 思想 ,应 用 于 微 表情 识别 (Wang et al., 2018)。 
第 一 步 ， 从 大 量 的 宏 表 情 数据 中 迁移 一 部 分 知识 ; 
第 二 步 ， 把 微 表 情 视 频 的 每 一 帧 看 作为 一 个 样 
本 。 我 们 也 从 研究 多 模 态 融合 角度 来 提高 微 表情 
识别 率 , 提出 了 稀 踊 张 量 CCA (Sparse Tensor CCA, 
STCCA) (Wang, Yan, Sun, Zhao, & Fu, 2016), 
STCCA 3EAN IAE ASAR PR PE iE AE RAS Aa E, 
利用 STCCA 寻找 一 个 子 空 间 ， 使 得 微 表情 视频 


数据 与 其 相应 的 LBP-TOP 编码 数据 之 间 的 相关 性 
在 子 空 间 中 最 大 。 另 外 , 我 们 还 提出 主 方向 光 流 差 
分 析 法 从 长 视频 中 检测 出 微 表情 (Wang, Wu, Qian, Li, 
& Fu, 2017)。 

(2) 面部 颜色 数据 获取 

也 有 研究 表明 ， 随 着 人 们 情绪 的 变化 ， 皮 上 肤 
外 观 会 发 生 改 变 ,变化 的 关键 指标 之 一 是 面孔 颜 
色 (Jimenez et al., 2010)。 其 后 Benitez-Quiroz 等 在 
美国 科学 院 会 刊 PNAS) 发 表 的 研究 证 明 ， 人 们 可 
以 通过 使 用 面孔 的 颜色 特征 成 功 解码 情绪 (Benitez- 
Quiroz, Srinivasan, & Martinez, 2018). 面孔 颜色 作 
为 微 表 情 识别 的 一 种 方式 ， 与 肌肉 线索 一 并 为 隐 
藏 情绪 的 识别 提供 了 重要 依据 。 当 隐藏 情绪 发 生 
时 , 一 些 面 部 肌肉 运动 单元 出 现 运动 并 组 合成 某 
一 种 微 表情 (Ekman，2009)， 同时 因为 面部 含有 让 
富 的 血管 分 布 ， 这 些 血管 中 的 血 流 以 及 血液 成 分 
的 变化 会 使 面部 产生 可 见 的 颜色 变化 (Benitez- 
Quiroz et al., 2018)。 已 有 研究 表明 , 面孔 颜色 与 血 
红 和 蛋白 的 浓度 有 关 ， 而 血 流 以 及 血液 成 分 的 变化 
会 使 血红 蛋白 浓度 发 生变 化 ， 从 而 引起 肤色 的 变 
化 (Moretti, Ellis, & Mescon, 1959)。 例 如 ,愤怒 时 
AU4+AU5+AU7+AU24 发 生 运 动 (Ekman et al., 
2002)， 血 管 中 的 血 流 速度 变 快 ， 流 量变 大 ， 血 红 
蛋白 浓度 变 大 ， 面 部 会 显示 出 红色 。 

G) 眼 动 数据 获取 

有 研究 表明 说 谎 组 和 对 照 组 在 眼 动 模式 上 有 
明显 的 区 别 (Derrick, Moffitt, & Nunamaker Jr, 2011). 
计算 机 视觉 中 的 注视 估计 (gaze estimation) A] WA (ti 
用 摄像 头 来 估计 人 的 视线 方向 ， 从 而 进一步 地 推 
断 出 眼 动 模式 。 对 注视 估计 进行 系统 深入 研究 的 
有 美国 伦 斯 勒 理工 学 院 纪 强 教授 团队 ， 该 团队 在 
2016 年 提出 了 一 种 基于 次 度 传 感 器 Kinect 进行 实 
时 眼睛 注视 跟踪 的 方法 (Wang & Ji, 2016b)， 并 结 
合 眼睛 模型 和 眼睛 外 观 进行 注视 估计 和 注视 跟踪 
(Wang & Ji, 2016a)。 然后 在 2017 年 提出 了 基于 三 
维 模型 的 单 摄像 头 注 视 估 计 方 法 (Wang & Ji, 
2017)， 该 方法 实现 了 即时 和 便携 式 的 眼球 注视 跟 
踪 。 在 2018 年 进一步 提出 了 利用 人 眼 注 视 跟 踪 过 
程 中 的 4 个 自然 约束 条 件 的 隐 式 校准 方法 进行 注 
视 估计 的 方法 (Chen et al., 2019)。 

此 外 ，Xiong 等 在 2014 年 提出 了 一 种 基于 
RGBD 采用 离线 构建 的 个 性 化 三 维 人 脸 模 型 进行 
非 红 外 跟踪 眼睛 注视 的 方法 (Xiong, Liu, Cai, & 
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Zhang, 2014). Zhang 等 在 2015 年 提出 了 一 种 在 室 
外 基于 眼睛 外 观 的 注视 估计 方法 (Zhang，Sugano， 
Fritz, & Bulling, 2015), 该 方法 使 用 多 模 态 卷 积 神 
经 网 络 ,在 最 具 挑 战 性 的 交叉 数据 集 评估 中 显著 
优 于 现 有 方法 。Krafka 等 在 2016 年 提出 了 一 种 基 
于 注视 捕获 进行 卷 积 神经 网 络 训练 达到 注视 跟踪 
的 方法 (Krafka et al., 2016)。Sabharwal 等 在 2017 
年 提出 了 一 种 在 平板 电脑 自然 使 用 过 程 中 姿势 不 
受 限 制 的 情况 下 使 用 前 置 摄像 头 进行 未 校准 的 注 
视 估 计 , 采用 基于 多 级 HoG 特征 和 随机 森林 回归 
器 的 基础 算法 分 析 各 种 实际 因素 对 注视 估计 精度 
影响 的 方法 (Huang, Veeraraghavan, & Sabharwal, 
2017)。Cheng 等 在 2018 年 提出 了 一 种 不 对 称 的 
回归 估计 网 络 (Cheng, Lu, & Zhang, 2018), WIT 
法 的 核心 是 左 眼 和 右 眼 在 注视 估计 时 所 观察 到 的 
“两 只 眼睛 不 对 称 ” 的 概念 。 同 年 , Fischer 等 提出 了 
一 种 基于 眼睛 外 观 的 深度 卷 积 神经 网 络 的 实时 注 
视 佑 计 方 法 (Fischer, Jin Chang, & Demiris, 2018), 
提高 了 处 理 新 数据 集中 不 同 图 像 的 性 能 。 

(4) 生理 信号 数据 获取 

情绪 的 改变 , 尤其 是 当 发 生 隐 藏 情绪 时 ， 通 
常会 伴随 生理 信号 的 变化 。 基 于 遥测 光电 脉搏 容 
积 成 像 的 生理 信号 检测 是 非 侵入 式 的 方法 ， 因 为 
不 需要 与 被 检测 者 皮肤 产生 直接 接触 即 可 获得 心 
率 等 生理 信和 号 而 受到 研究 者 的 青睐 。 心 脏 的 周 基 
性 收缩 和 和 舒张 将 血 流 输送 到 全 身 从 而 导致 血液 容 
积 发 生变 化 , 由 于 血液 和 血管 等 组 织 对 于 不 同 波 
段 光 的 吸收 和 反射 能 力 的 不 同 ， 导 致 脸 部 或 手指 
等 血管 分 布 较为 丰富 的 部 位 产生 细微 的 颜色 变 
化 。Verkruysse 首次 提出 了 在 可 见 光 作为 光源 的 


(Cheng, Chen, Xu, & Wang, 2017)。 抗 运动 干扰 的 
方法 大 致 可 以 分 为 盲 源 分 析 方 法 ， 如 独立 成 分 分 
析 (ICA) 、 主 成 分 分 析 (PCA)， 将 运动 信号 成 分 分 
离 (Poh et al., 2010); 基于 色 度 模型 的 方法 ， 如 
CHROM, POS, 通过 分 析 皮 肤 颜 色 模 型 区 分 运动 
言 号 与 脉搏 信号 (Wang,， den Brinker, Stuijk, & de 
Haan, 2017); 基于 运动 补偿 的 方法 , 包括 全 局 运 
动 补偿 和 局 部 运动 补偿 , 来 消除 头 部 平移 和 旋转 
的 影响 (Cheng et al., 2017). 

心率 是 一 段 时 间 内 心脏 跳动 的 次 数 ， 对 情绪 
变化 并 不 十 分 敏感 ， 心率 变异 性 (Heart Rate’s 
Variability, HRV) 是 心脏 的 每 次 跳动 在 时 间 上 间隔 
的 变化 量 。HRYV 信号 中 蕴含 了 有 关心 血管 调节 的 
大 量 信息 ， 对 这 些 信息 的 提取 和 分 析 可 以 定量 评 
估 心 脏 交 感 神经 和 迷走 神经 活动 的 紧张 性 、 均 衡 
性 及 其 对 心血 管 系统 活动 的 影响 。 近 年 来 的 相关 
研究 工作 表明 ,， 非 接触 的 光电 脉搏 容积 成 像 方式 
可 以 在 环境 光照 明 条 件 下 仅 通 过 低 成 本 的 成 像 设 
备 准确 地 遥测 心率 变异 性 信号 。 研 究 表明 ,情绪 
改变 (如 高 压 紧张 ) 会 对 HRV 产生 影响 ,如 在 心理 
负荷 下 , HRV 高 频 (HF) 成 分 降低 (Hjortskov et al., 
2004), 在 高 度 注意 状态 下 低频 (LF) 和 HF 的 绝对 
值 均 下 降 (Moses, Luecken, & Eason, 2007)。 然 而 
已 有 工作 的 目的 是 研究 测量 结果 的 准确 性 ， 并非 
研究 生理 信号 与 情绪 的 相关 性 及 其 在 隐藏 情绪 监 
测 中 的 潜在 应 用 。 
2.2.2 ”多 维度 数据 融合 技术 研究 现状 
隐藏 情绪 是 一 种 复杂 的 心理 行为 ,往往 同时 
着 生理 指标 和 外 在 的 行为 表现 ， 仅 使 用 单一 
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情况 下 使 用 普通 光学 摄像 头 检测 人 体 心 率 的 可 行 
性 (Verkruysse, Svaasand, & Nelson, 2008). Verkruysse 
通过 分 析 在 可 见 光 下 拍摄 的 一 段 人 脸 视 频 获得 了 
心率 信号 。 利 用 这 个 微弱 的 信号 ， 麻 省 理工 学 院 
的 Poh 等 提出 了 一 种 基于 盲 源 分 离 算 法 的 实现 从 
人 脸 视 频 图 像 中 提取 心率 信号 的 非 接触 式 检测 方 
法 (Poh, McDuff, & Picard, 2010)。 后续 很 多 研究 开 
始 关注 噪声 、 伪 迹 消 除 方法 ， 如 被 试 运动 、 面 部 
表情 、 皮 肤 颜色 、 光 照 改变 等 (Chen et al., 2019). 


随 
通道 很 难 提高 隐藏 情绪 的 识别 率 。 因 此 ， 充 分 利 
用 多 通道 数据 融合 是 提高 隐藏 情绪 识别 率 的 重要 
途径 。 现 代数 据 融合 的 基础 理论 建立 于 20 世纪 前 
叶 ， 多 数据 集 的 聚合 分 析 方 向 在 1960 年 底 到 1970 
年 初 有 了 较 大 的 发 展 ， 如 平行 因子 分 析 法 (Carroll 
& Chang，1970)、 多 数据 集 典 型 相关 性 分 析 方 法 
(Kettenring, 1971) 和 张 量 分 解 方法 。 
2.3 ”应 用 场景 研究 现状 

我 们 的 隐藏 情绪 分 析 和 识别 方法 将 分 别 在 精 
神 疾病 临床 与 司法 两 个 不 同 的 场景 ， 对 其 进行 应 


消除 环境 光 噪 声 方 面 ， 主 要 有 两 种 方式 ， 一 是 通 
过 信号 处 理 方 法 直接 将 光照 变化 信号 从 脉搏 信号 
中 分 离 出 来 (Chen et al.，2015)， 另 一 个 思路 是 将 
除 面 部 区 域外 的 非 皮肤 背景 区 域 作 为 噪声 参考 


用 验证 和 修正 。 

2.3.1 ”在 医院 临床 的 应 用 研究 现状 

(1) 精神 疾病 患者 两 害 行为 识别 的 必要 性 
精神 疾病 患者 在 精神 症状 和 精神 因素 影响 下 ， 
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情绪 容易 受到 激发 ,进而 发 生 两 害 行为 ( 即 危 害 自 
身 或 他 人 的 危险 行为 ) 具有 隐蔽 性 、 经 常 性 和 严 
重 性 等 特点 ( 卢 婉 波 , PAIL, EEE, 2015), 4 
影响 家 庭 正 常生 活 及 社会 公共 安全 。 精 神 疾 病 
患者 的 两 害 行为 主要 体现 在 重 性 抑郁 障碍 (Major 
Depression Disorder, MDD) 患 者 、 双 相 情 感 障 碍 
(Bipolar Depression, BD) 患者 和 精神 分 裂 症 
(Schizophrenia, SZ) 患 者 人 群 中 。 我 国学 者 通过 分 
析 2200 例 重 性 精神 疾病 患者 的 出 院 信息 ， 发 现 重 
性 精神 疾病 患者 中 有 52.73% 具 有 两 害 行为 ， 其 中 
BD 患者 和 SZ 患者 分 别 占 47.55% 和 43% ( 范 萌 ， 
传 可 月 ，2016)。 世 界 卫生 组 织 报道 全 球 每 年 自杀 
未 遂 者 高 达 100 万 。 资 料 显示 我 国 临床 MDD 中 
有 15% 患 者 死 于 自杀 (Vaillant, 2004)。BD 仅 次 于 
MDD, BD 患者 自杀 风险 是 正常 人 的 15 倍 (Pompili 
et al., 2013), 并 且 SZ 患者 死亡 的 常见 原因 是 自 
杀 。 因 此 ， 分 析 精 神 疾 病 患者 的 两 害 行为 ， 寻 找 早 
期 预测 两 害 行为 的 客观 指标 ， 有 助 于 早期 识别 两 
害 行为 ， 降 低 其 社会 风险 ， 对 临床 和 社会 公共 安 
全 具有 重要 的 意义 。 

(2) 情绪 调节 机 制 研究 有 助 于 早期 预防 精神 
疾病 患者 的 两 害 行为 

既往 研究 发 现 情绪 调节 自我 效能 感 于 攻击 行 
为 显著 负 相 关 ， 并 且 情 绪 调 节 在 攻击 等 行为 中 具 
有 中 介 调 节 作用 ( 草 杏 田 ， 张 丽华，2018; RREH, 
(ES, FU, TAFT TT, EFH, 2015)， 可 通过 
调整 情绪 调节 策略 来 降低 两 害 行为 的 发 生 (Miles 
et al., 2017)。 精 神 疾病 患者 常 伴 有 情绪 调节 障 得， 
偏向 负 性 认 知 模式 ， 是 发 生 两 害 行为 的 高 风险 因 
子 (Brausch & Woods, 2019; Forkmann et al., 2014). 
精神 疾病 患者 在 发 生 两 害 行为 尤其 攻击 行为 时 
伴 有 情绪 不 稳定 ， 易 激 惹 等 特征 ( 厉 爱 婷 等 ， 
2015)。 在 临床 上 ， 精 神 疾病 患者 在 接受 治疗 后 的 
精神 症状 有 所 缓解 ， 但 情绪 调节 功能 并 未 完全 恢 
复 ， 他 们 容易 将 真实 情感 隐藏 起 来 。 因 此， 早期 识 


发 现 习惯 采用 认 知 重 评 策略 的 MDD 缓解 期 患者 
在 看 到 负 性 图 片 时 ， 其 前 额 叶 皮层 的 激活 度 升 高 ; 
而 惯用 表达 抑制 的 MDD 缓解 期 患者 的 眶 额 叶 皮 
层 的 激活 度 降低 ， 查 仁 核 的 激活 度 升 高 (Abler et 
al., 2010; Fitzgerald et al., 2017; Vanderhasselt, Baeken, 
van Schuerbeek, Luypaert, & de Raedt, 2013). 由 此 
可 见 ， 认 知 重 评 和 表达 抑制 机 制 有 助 于 揭示 精神 
疾病 患者 负 性 情绪 的 发 生机 制 。 同 时 ， 揭 示 精 神 
疾病 患者 的 不 同情 绪 调 节 策 略 机 制 ， 针 对 性 地 改 
善 其 不 良 情 绪 ， 有 助 于 患者 的 康复 ， 保 持 情 绪 的 
稳定 ， 降 低 其 两 害 行为 发 生 的 风险 。 

G) 基于 微 表 情 技 术 识别 不 同情 感 调节 策略 
的 精神 疾病 患者 

研究 发 现 认 知 重 评 条 件 下 负 性 情绪 体验 相对 
较 少 ,厌恶 的 面部 表达 行为 也 显著 减少 ， 受 试 者 
的 皮肤 电 水 平 、 呼 吸 频率 、 心 血管 的 交感 神经 激 
活 减弱 ; 采用 表达 抑制 策略 时 ， 受 试 者 的 皮肤 
水 平 增加 。 可 见 , 认 知 重 评 策略 会 降低 个 体 的 生 
理 反 应 ,而 表达 抑制 策略 则 增强 个 体 的 生理 反 
应 。 有 些 学 者 采用 功能 核磁 共振 和 表情 识别 相 结 
合 的 方式 对 MDD 患者 的 表情 进行 了 探讨 ， 发 现 
MDD 患者 在 感知 动态 喜悦 时 在 面部 运动 方面 存 
在 差异 , 并 且 MDD 患者 对 于 悲伤 的 感知 敏感 度 
大 于 中 立 的 感知 。 随 着 医学 技术 的 发 展 , 采用 综 
合 模式 评估 抑郁 的 方法 越 来 越 多 ， 因 此 有 些 学 者 
便 对 抑郁 表情 的 研究 进行 了 梳理 。 学 者 们 将 表情 
作为 MDD 的 客观 检测 标准 的 可 行 性 进行 分 析 ， 
同时 指出 了 展开 MDD 患者 微 表情 识别 及 训练 的 
必要 性 。 SE, 分析 MDD 患者 的 微 表情 ， 利 用 微 
表情 技术 识别 情绪 认 知 重 评 策略 和 表达 抑制 策略 
的 精神 疾病 患者 ， 探 讨 不 同调 节 策 略 与 两 害 行为 
的 关系 ， 以 此 构建 两 害 行 为 的 风险 评估 系统 ， 是 
本 研究 要 解决 的 问题 。 
2.3.2 ”在 司法 中 的 应 用 研究 现状 

情绪 识别 在 公共 安全 领域 应 用 的 重要 性 在 于 ， 
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别 其 隐藏 情绪 ， 探 索 情 绪 调 节 机 制 对 于 预防 两 害 行 
为 的 发 生 具 有 重要 作用 。 

情绪 调节 是 个 体 对 情绪 的 发 生 、 体 验 以 及 表 
达 施 加 影响 的 过 程 ,经常 采用 的 情绪 调节 策略 包 
括 认 知 重 评 策略 和 表达 抑制 策略 (Gross & John, 
2003)。MDD、BD 和 SZ 患者 个 体 表 现 出 情绪 调 
节 异 常 ， 脑 神经 机 制 表现 为 前 额 叶 皮层 和 禁 仁 核 
的 异常 连接 (Phillips & Swartz, 2014)。 并 且 , 研究 


其 可 以 在 公共 场所 精准 定位 到 情绪 异常 的 有 犯罪 
意向 的 个 体 或 团体 ,也 有 助 于 人 们 寻找 欺骗 线索 
( 梁 静 等 ,2013)。 其 中 ， 微 表情 与 欺骗 关系 密切 
(Ekman, 2003b; Ekman & Sullivan, 2006)。 微 表情 
一 般 不 能 自主 控制 ， 是 与 谎言 识别 关系 密切 的 内 
部 心理 机 制 的 外 部 表现 (Ekman & Friesen, 1974). 
Porter 和 ten Brinke 在 2008 年 的 研究 发 现 当 人 们 
试图 做 出 欺骗 性 的 动态 表情 时 , 经 常 伴随 着 微 表 
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情 的 发 生 (Porter & Brinke, 2008). 因此， 识别 微 表 
情 可 以 作为 欺骗 检测 的 一 个 有 效 线索 和 辅助 手段 
(Akehurst, Köhnken, Vrij, & Bull, 2010)， 且 研究 发 
现 通过 识别 微 表情 来 进行 欺骗 检测 ， 准 确 率 可 达 
到 70% (Frank et al., 2009)。 由 于 欺骗 线索 有 行为 
线索 、 认 知 线索 、 生 理 线索 等 (DePaulo et al., 2003; 
Frank et al., 2009; Vrij & Granhag, 2012)。 因 此 ， 表 
情 识别 (包括 微 表情 识别 和 姿态 表情 识别 ) 可 以 帮 
助人 们 寻找 欺骗 线索 ( 梁 静 等 , 2013; 吴 奇 F, 
2010)。Meservy 等 在 2008 年 试图 从 姿态 表情 中 提 
PUR Gini “55 ELSE HY Be FR VA TE Bae 2k Se Ek P HE FT A, 
结果 发 现 两 类 别 的 正确 率 能 够 达到 71%， 显著 高 
于 随机 水 平 (Meservy， Jensen, Kruse, Burgoon, & 
Nunamaker, 2005)。 在 现实 生活 中 ,服刑 人 员 改 造 
是 公共 安全 关注 的 重要 方面 ， 监 狱 会 见 场景 中 同 
样 存在 着 欺骗 行为 , 例如， 在 服刑 期 间 ， 服刑 人 
员 可 能 因为 家 庭 变 故 或 在 狱 中 改造 的 不 顺利 等 原 
因而 抑郁 ,严重 者 甚至 存在 自杀 的 念头 , 但 是 当 
其 与 亲人 见面 时 却 有 意 隐瞒 自己 的 真实 想法 和 情 
绪 。 基 于 此 ,我 们 将 研究 在 监狱 会 见 场景 中 识别 
服刑 人 员 隐 藏 情绪 的 适用 性 。 
24 现 有 研究 的 不 足 

已 有 研究 对 情绪 识别 的 机 理 、 关 键 技术 与 应 用 
研究 等 方面 均 做 出 了 有 益 的 探索 , 虽然 情绪 识别 
建 模 的 相关 研究 相对 较 多 , 但 针对 隐藏 情绪 的 研 
究 却 很 少 。 微 表情 是 揭示 隐藏 情绪 的 一 条 重要 通 
道 ， 对 微 表 情 检 测 和 识别 的 研究 也 已 经 有 近 10 F, 
但 却 仍然 无 法 应 用 到 实际 场景 中 。 这 主要 是 由 于 
现 有 研究 大 部 分 在 实验 室内 进行 , 实验 室 情境 和 
现实 情境 存在 较 大 的 差距 ,实验 室 研究 中 无 法 达 
到 高 风险 水 平 ， 因 此 为 隐藏 情绪 而 出 现 微 表情 的 
概率 也 较 低 。 实 验 室 研 究 只 能 作为 隐藏 情绪 识别 
应 用 研究 的 起 点 ， 要 有 效 地 将 隐藏 情绪 应 用 于 实 
际 生活 中 还 需要 进一步 开展 更 具 生 态 效 度 的 研究 。 

追溯 对 微 表 情 的 研究 历史 发 现 ， 微 表情 是 心 
理学 家 在 观察 一 位 抑郁 症 患 者 的 谈话 视频 中 发 现 
的 。 在 本 研究 中 依托 参与 单位 中 首都 医科 大 学 附 
属 北京 安定 医院 的 重症 抑郁 障碍 、 双 相 情 感 障碍 
和 精神 分 裂 证 患者 群 ， 获 取 两 害 行为 风险 评估 场 
景 数据 。 于 此 同时 ,发 挥 中 国 科学 院 心理 研究 所 在 
科技 部 国家 重点 研发 计划 “面向 服刑 人 员 改 造 的 
心理 和 行为 采集 与 评估 技术 研究 ”中 课题 牵头 单 
位 的 优势 ,利用 对 接 司 法 部 在 5 个 省 市 的 示范 监 


狱 ， 获 取 服 刑 人 员 会 见 场景 数据 。 

基于 以 上 数据 ,训练 出 更 具 鲁 棱 性 的 微 表情 
检测 和 识别 系统 ， 同 时 辅 以 人 脸 颜 色 、 注 视 估 计 
和 非 接 触 式 心率 等 多 通道 来 分 析 和 检测 隐藏 情 
绪 。 最 后 ,将 通过 开 闭 环 两 个 不 同 的 场景 ， 对 系统 
和 方法 进行 验证 和 修正 。 


3 ”研究 构想 


本 研究 将 通过 综合 使 用 计算 机 科学 、 认 知心 
理学 和 医学 相关 知识 ， 以 微 表情 为 主要 通道 ， 辅 
以 面部 颜色 、 视 线 方向 和 心率 等 多 通道 数据 对 面 
向 公共 社会 安全 的 隐藏 情绪 进行 分 析 。 主 要 研究 
内 容 可 以 分 为 基础 理论 、 关 键 技术 和 应 用 验证 三 
个 层次 ， 如 图 1 所 示 。 在 基础 理论 和 模型 研究 层 
次 ,将 重点 研究 和 探索 隐藏 情绪 的 外 在 表达 特点 
和 神经 反应 模式 ， 探 讨 精神 疾病 患者 不 同情 绪 调 
节 策 略 的 神经 影像 机 制 ， 并 建立 以 微 表 情 为 主 的 
多 通道 隐藏 情绪 表达 模型 ， 为 关键 技术 层次 提供 
理论 支持 。 在 关键 技术 层次 ， 针 对 公共 场合 的 特 
点 ， 将 首先 研究 无 察觉 采集 设备 和 相关 技术 。 然 
后 以 微 表 情 为 主 面部 颜色 变化 为 新 突破 ， 注 视 
方向 变化 和 心率 变化 变化 为 辅 ,对 隐藏 情绪 进行 
多 通道 分 析 和 融合 。 为 了 解决 标注 微 表 情 耗 时 耗 
力 的 问题 。 我 们 研究 微 表 情 的 脑 电 特征 ， 通 过 脑 
电 对 自然 状态 下 的 微 表情 数据 进行 高 效 精确 标 
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注 。 在 应 用 验证 层次 ,面向 闭环 情境 ， 为 识别 精神 
疾病 患者 隐藏 的 两 害 行为 风险 ,通过 神经 影像 特 
征 将 精神 疾病 患者 情绪 调节 分 为 认 知 重 评 策略 组 
和 表达 抑制 策略 组 , 利用 微 表情 、 人 脸 颜 色 变化 、 
视线 方向 和 心率 等 特征 识别 认 知 重 评 策 略 组 和 表 
达 抑 制 策 略 组 。 面 向 开 环 情境 ， 在 服刑 人 员 会 见 
场景 下 ， 对 系统 进行 验证 。 

3.1 ”基础 理论 和 模型 的 研究 构想 


备 和 相关 技术 。 无 察觉 采集 设备 将 使 用 PTZ 摄像 
机 ， 它 可 以 通俗 地 理解 为 云 台 控制 加 焦距 调节 。 
F PTZ 摄像 机 的 定 速 策略 会 导致 人 脸 图 像 模糊 ， 
因为 也 需要 进一步 解决 这 一 问题 以 便 采 集 有 效 数 
据 。 同 时 ， 也 需要 进行 人 脸 高 精度 几何 模型 重建 
和 复杂 光照 条 件 下 和 鲁 棒 面 部 关键 点 检测 ， 为 后 续 
的 多 通道 获取 提供 准备 。 

在 微 表情 研究 中 ， 用 光 流 技术 去 研究 人 脸 对 


— 


本 研究 的 目的 是 通过 心理 学 行为 实验 , 探究 
隐藏 情绪 的 表达 特点 和 生理 基础 ， 为 研发 基于 微 
表情 的 隐藏 情绪 识别 系统 提供 科学 依据 。 首 先 ， 
我 们 从 认 知 心理 学 角度 出 发 ， 通 过 设 定 的 实验 场 
景 和 实验 任务 来 研究 隐藏 情绪 的 线索 ,采集 严格 
控制 条 件 下 的 微 表情 、 注 视 估 计 等 数据 ， 结 合 人 
工 编码 和 计算 机 检测 和 识别 技术 进行 标定 和 建 库 ， 
发 现 微 表情 及 其 他 的 隐藏 情绪 特征 ,为 后 续 识 别 
算法 提供 有 效 线索 。 其 次 , 我 们 将 脑 电 技术 和 功 
能 性 核磁 共振 技术 加 入 到 心理 学 行为 实验 中 ,对 
隐藏 情绪 的 中 枢 神 经 反应 模式 加 以 探索 以 找到 微 
表情 的 生理 基础 ， 从 而 揭示 隐藏 情绪 的 表达 机 制 ， 
为 隐藏 情绪 的 特征 选择 、 优 化 与 建 模 提供 基础 。 

为 了 规避 潜在 风险 ， 人 们 需要 准确 识别 隐藏 
情绪 , 但 是 只 通过 肉眼 观察 面部 的 细微 运动 来 感 
知 隐藏 情绪 较为 困难 。 人 的 判断 是 经 过 复杂 的 大 
脑 活动 后 作出 的 反应 ， 所 以 要 通过 生理 和 行为 多 
个 指标 来 揭示 人 是 如 何 识 别 隐 藏 情绪 。 为 此 ， 需 
研究 面部 隐藏 情绪 的 识别 与 一 般 情 绪 识 别 的 差异 ， 
通过 实验 模拟 真实 场景 中 人 如 何 识别 隐藏 情绪 ， 
找到 高 生态 效 度 下 的 隐藏 情绪 识别 线索 ,建立 多 
维度 的 隐藏 情 绪 识 别 模型 ,进一步 指导 计算 机 自 
动 识别 隐藏 情绪 的 算法 。 

不 同情 绪 调 节 策 略 的 精神 疾病 患者 存在 的 两 
害 行为 风险 具有 差异 性 。 为 了 探究 精神 疾病 患者 
异常 的 情绪 调节 机 制 ， 本 研究 利用 神经 影像 分 析 
技术 , 分 析 患 者 与 情绪 调节 相关 的 特异 性 神经 影 
像 特 征 ， 提取 与 两 害 行为 风险 评估 密切 相关 的 神 
经 生物 指标 ,此 外 ， 本 研究 利用 深度 学 习 方 法 , 探 
讨 认 知 重 评 策略 组 和 表达 抑制 策略 组 的 微 表情 、 
人 脸 颜 色 、 视 线 方向 和 心率 等 多 通道 特征 ， 并 融 
合 多 通道 特征 识别 认 知 重 评 策略 组 和 表达 抑制 组 ， 
进而 构建 精神 疾病 患者 两 害 行为 风险 评估 模型 。 
3.2 ”关键 技术 的 研究 构想 

针对 公共 场合 ,我们 首先 研究 无 察觉 采集 设 


齐 和 微 表 情 检 测 的 问题 ; 用 稀 玻 技术 去 提取 细微 
的 微 表 情 运 动 特征 ; 用 深度 学 习 技 术 对 微 表 情 进 
行 识别 。 此 外 ,还 研究 微 表情 的 时 空 特征 、 小 样 
本 问题 和 样本 不 均衡 问题 。 最 新 研究 表明 ， 人 脸 
彩色 的 变化 可 以 独立 于 表情 去 反映 人 的 真实 情 
绪 , 为 此 , 研究 中 将 寻找 一 种 颜色 空间 ,在 这 个 空 
间 中 使 得 颜色 对 情绪 更 有 判别 性 。 有 眼睛 是 心灵 的 
窗口 ， 拟 研究 人 了 眼 的 结构 模型 ， 并 根据 该 模型 ， 
建立 一 个 注视 估计 模型 ,来 估计 人 的 视线 躲闪 等 
指标 ， 以 此 辅助 微 表 情 对 隐藏 情绪 的 分 析 。 
针对 现 有 非 接触 式 心率 测量 系统 容易 受 运动 
伪 迹 干扰 的 问题 , 研究 抗 运动 干扰 的 非 接 触 式 心 
率 、 心 率 变 异性 测量 方法 。 分 析 运 动 伪 迹 引起 品 
声 对 不 同 颜色 空间 的 影响 区 别 ， 以 及 运动 伪 迹 不 
同 于 心率 信号 的 频谱 特性 ， 进 行 视频 图 像 预 处 
理 、 脉 搏 波 信号 去 噪 及 信号 增强 算法 ,在 此 基础 
上 研究 敏感 区 域 跟踪 匹配 并 结合 盲 源 分 析 的 运动 
伪 差 去 除 算法 。 最 后 我 们 要 研究 不 同 通道 的 数据 
融合 方法 ， 对 多 通道 的 数据 进行 综合 建 模 来 分 析 
隐藏 情绪 。 研 究 融 合 不 同 模 态 的 信息 将 能 够 显著 
提高 情绪 识别 算法 的 准确 率 。 
现在 的 微 表 情 数 据 库 中 诱发 的 微 表情 都 是 包 
含 在 中 性 表情 里 的 微 表情 ， 即 微 表情 的 前 后 都 是 
中 性 表情 。 而 在 现实 生活 中 ,这 种 情况 很 少 出 现 。 
比如 说 “ 笑 里 藏 刀 ” 是 指 在 笑 的 宏 表 情 中 包含 “大 
亚 ? 或 者 “ 展 恨 ”的 微 表情 。 在 实验 中 很 难 诱发 这 种 
自然 状态 下 的 微 表 情 。 根 据 微 表 情 的 起 源 ， 微 表 
情 是 在 和 抑郁 证 患者 交谈 中 发 现 的 。 所 以 我 们 拟 
采用 和 抑郁 症 患者 谈话 的 方式 去 诱发 真实 场景 下 
的 微 表 情 。 然 而 对 真实 条 件 下 的 微 表情 数据 进行 
标注 是 相当 困难 的 ， 所 以 我 们 拟 采用 脑 电 作为 微 
表情 的 精准 标注 。 因 此 ,我 们 需要 研究 脑 电 和 微 
表情 对 应 关系 以 及 脑 电 和 隐藏 情绪 的 对 应 关系 。 
3.3 ”应 用 验证 的 研究 构想 
在 应 用 验证 部 分 ， 拟 分 别 建立 开 环 和 闭环 情 
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境 下 的 典型 应 用 ,并 对 研究 成 果 进 行 实践 验证 ， 
以 进一步 完善 面向 社会 公共 安全 的 异常 隐藏 情绪 
分 析 与 识别 方法 。 闭 环 情境 下 的 应 用 拟 研 究 精 神 
疾病 患者 两 害 行为 的 风险 评估 系统 ， 开 环 情境 下 
的 应 用 拟 研 究 服刑 人 员 会 见 场景 下 的 隐藏 情绪 检 
测 系统 。 
3.3.1 ”精神 疾病 患者 两 害 行为 的 风险 评估 系统 
针对 精神 疾病 患者 由 于 存在 情绪 调节 障碍 ， 
导致 负 性 情绪 较 多 ， 而 容易 发 生 两 害 行为 的 这 一 
问题 , 我 们 拟 采集 精神 疾病 患者 的 视频 、EEG 和 
功能 磁 共 振 数 据 ， 利用 神经 影像 技术 分 成 认 知 重 
评 策 略 和 表达 抑制 策略 组 ,结合 微 表情 数据 ， 构 
建 分 类 预测 模型 ， 为 精神 疾病 患者 两 害 行为 的 发 
生 风 险 评估 提供 客观 依据 ， 并 构建 两 害 行为 风险 
评估 系统 。 
3.3.2 ”服刑 人 员 会 见 场景 下 的 隐藏 情绪 检测 系统 
针对 服刑 人 员 行 为 线索 隐匿 性 强 ， 防 范 心 理 
严重 ,潜在 心理 活动 和 行为 意图 难于 挖 据 的 这 一 
问题 ,我 们 拟 在 远程 视频 会 见 、 物 理会 见 、 亲 情 


在 应 用 验证 研究 方面 , 开 环 场景 和 闭环 场景 
相 结 合 。 在 闭环 场景 中 , 根据 医生 反馈 , 不断 完 善 
模型 。 最 后 将 得 到 的 模型 在 开 环 场景 中 进行 进 一 
步 的 验证 。 微 表情 是 一 种 持续 时 间 极 短 的 、 在 人 
们 试图 掩饰 自己 真实 情绪 时 泄露 出 来 的 面部 动 
作 。 这 种 无 法 压制 的 属性 使 微 表情 可 以 应 用 到 国 
家 安全 (安检 )、 司 法 实践 (审讯 )、 临 床 医学 ( 医 患 
沟通 )、 广 告 与 消费 (监测 消费 者 的 真实 态度 ) 等 等 
各 个 行业 领域 的 欺骗 检测 。 我 们 的 研究 目的 就 是 
证 微 表 情 检测 和 识别 能 走出 实验 室 , 在 1~2 个 实 
际 场景 示范 应 用 ， 从 而 实现 对 隐藏 情绪 进行 分 析 
和 检测 。 
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Abstract: It is of great value to recognize concealed emotions for early warning of public security issues. 
Micro-expression is a vital channel to reveal concealed emotions. However, there are relatively few studies 
on concealed emotions, and micro-expressions are challenging to recognize because of their subtle 
magnitude and short duration. Existing Laboratory studies of micro-expression have few practical 
applications. Therefore, the perception and expression of concealed emotion should be systematically 
investigated by collecting micro-expression samples in an ecological situation, while synchronically 
collecting EEG signals for better labeling of micro-expressions. We spot and recognize concealed emotions 
mainly through micro-expressions, accompanied by face color analysis, gaze estimation, and contactless 
physiological signals measurement. Then, we verify and modify our system and method in two realistic 
public security related application scenarios: a Recognition Assistant System for the aggressive and suicidal 
behaviors of psychiatric patients and a Concealed Emotion Detection System for prisoners interview. 
Key words: pattern recognition; micro-expression spotting and recognition; concealed emotion; deep learning; 
color space 


